自然界的发展总是令人难以捉摸，物种必须不断分化和保持多样性，才能持续适应自然选择的压力。在恶劣的自然环境中，不停地改变自己，才能寻找到合适的生存空间。

在互联网这种高速发展的行业，道理也是一样的，产品、企业之间的竞争，拼的就是大家的反应速度和进化速度。当增量互联网流量红利不再，各类产品的同质化毋庸置疑加剧了红海的角逐；如何技术加持，利用高效的手段持续对产品和营销进行投入与创新？

如何找到正确的方法，让产品以更高的频率进化？

■  可出击的方向很多，我是都做吗？

■  哪些是能成为我的长板的？

■  哪些是适合我的？

■  哪些是有效的？

优胜劣汰机制下的A/B测试

先举个例子，在进化论的故事里，加拉帕戈斯群岛的大自然“设计了”体型相似，但喙部形状和大小各异的达尔文雀族，种类多达十几种，分布在群岛不同的位置。研究证明，它们都属同一族，因为群岛上不同地方的环境差异，让它们进化出了最适合当前环境的喙部形态。这是物竞天择、适者生存，也是物种进化中大自然所做的A/B测试。

正如达尔文雀通过进化出更优的形态来适应当下的环境，A/B测试也是一种寻找当下环境中最适合用户的产品方案的过程。

A/B测试简单来说，就是为同一个目标制定两个方案，一部分用户测试 A 方案，另一部分用户测试B 方案，然后通过观察指标结果，看哪个方案更符合目标需求。实际上，A/B测试的定义是分离式组间试验方法——基于统计学假设检验原理设计的对照试验，通过对照组和试验组的采样样本分析来推断某个假设是否对总体样本成立。

■  Google 每个月从上百个 A/B 测试中找到十几个有效方案，月营收提升2%左右，10亿美元的规模；

■  Facebook 6个月内所有产品全部线上灰度发布，通过不断进行用户的流量分割的方式进行试验，获得无 BUG 口碑。

A/B测试的特性：先验、并行、科学

当千亿美元规模的科技公司都会将 A/B 测试作为一种必备的增长工具去使用，A/B测试的魔力到底在哪里？

先验性： A/B测试结果属于预测型结论，与“后验”的归纳性结论差别巨大。后验的方式是先将版本发布，再通过数据验证效果，而A/B 测试用很少的样本量来推断新版本在全流量下的效果。

并行性： A/B测试将两个或以上的方案同时在线试验，保证每个版本所处环境的一致性，同时节省了验证的时间，无需在验证完一个版本之后再测试另一个。

科学性： A/B 测试的正确做法是将相似特征的用户均匀的分配到试验组中，确保每个组别的用户特征的相似性，从而避免辛普森悖论。A/B测试试验是产生用户阻力的地方，也是增长前进的核心动力。

A/B测试如何去做

以相对成熟完善的AppAdhoc A/B Testing为例：

1.试验设计：

根据假设确定试验项目的设计，包括试验版本和变量，试验触发条件，试验针对的用户受众，试验流量分配，优化指标等等。

2.试验配置：

对H5或广告着陆页等场景的试验，设置触发条件，比如完全匹配URL或者模糊匹配URL。如果试验是定向针对部分用户群体的，设置受众定向，比如小米Mix2手机用户。

3.创建试验版本：

对于UI布局，banner图片，文案，配色等试验，可以使用可视化编辑器来编辑生成试验版本；对于广告着陆页等试验，可以使用多链接试验来直接把不同的URL当作不同的试验版本来对比；对于新功能灰度发布，后端算法调整，结构改版等试验，可以使用编程模式自定义试验变量，请工程师来将变量集成到代码里。

4.设定优化指标：

对于用户行为类优化指标，比如按钮点击、图片点击、URL跳转等，可以使用可视化编辑器来埋点；对于需要代码计算的指标，比如收费金额等，可以使用编程模式自定义指标，请工程师将指标埋点集成到代码里。

5.QA调试和上线：

使用内部测试机器来调试原始版本和试验版本，检查版本是否符合试验设计，检查系统是否能正确收集到调试数据。对于App编程模式试验，通过QA调试之后，可能需要将新版App代码上线应用商店。

6.流量分配：

一般先给试验分配小流量，比如10%流量，其中5%给原始版本，5%给试验版本。如果没有bug和数据异常，再逐步提高试验流量到20%，50%，100%。注意尽量保证原始版本和试验版本的流量相等。

7.数据分析：

实时检查试验数据，观察试验版本优化指标的置信区间来判断试验假设是否正确。

相关素材由吆喝科技提供，更多精彩可以来5月31日的旅讯在线讲堂学习和聆听，点击【阅读原文】即刻报名！